Combinatorial Synthesis: Scaling Code RLVR via Atomic Decomposition and Recombination
组合合成:通过原子分解与重组扩展代码 RLVR 规模
🧭 代码 RLVR 数据生成 · 原子分解重组
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Lero the Research Ireland Centre for Software, University of Limerick · The Chinese University of Hong Kong, Shenzhen · The Hong Kong University of Science and Technology
提出原子分解与重组框架,通过分解并受控重组生成新颖、高难度代码任务,提升 RLVR 训练的可扩展性
📌 工作参考价值(4 点)
- 数据增强思想可迁移至推荐/Agent 场景:在生成推荐 Query、Agent 指令或测试用例时,可将现有数据分解为原子元素(如商品属性、用户意图、操作序列),再通过受控重组生成多样化的新样本,提升训练数据的覆盖度和难度。
- 组合式合成解决多样性瓶颈:业务中常遇到训练样本同质化问题,借鉴原子分解思路,设计可组合的原子单元与约束规则,可系统性生成大量不同难度梯度的样本,用于模型能力爬坡。
- 自动生成高质量验证测试:ADR 同步生成代码与对应单元测试的思路,可迁移到 Agent 任务中自动构造评估用例,例如在生成式推荐中自动生成商品描述并附带可验证的约束条件,实现自动化评测。
- RLVR 训练范式在非代码领域的延伸:论文证明了可验证奖励与合成数据的结合能稳定提升模型能力,若能在电商 Agent 任务中定义可自动验证的奖励信号(如订单成功率、交互符合业务规则),则可套用类似框架进行大规模 RL 训练。